導入（Word Embeddings: Encoding Lexical Semantics）
how should you represent a word in a computer?
ニューラルネットワーク向けに密（dense）な表現がほしい
語彙の次元 |V| からわずかな次元に落とす
How do we get from a massive dimensional space to a smaller dimensional space?
表現を2つ挙げる（これでは不十分と示す例）
1.ascii representations
文字での表現（ベクトルになっていない）
2.one-hot encoding
単語wについて、|V|個の要素のうち、自身の位置の要素が1で他は0
巨大になってしまう（|V|次元）
similarity（semantic similarity）が求められない
words appearing in similar contexts are related to each other semantically. This is called the distributional hypothesis.
分布仮説